R-Squared(결정계수) & F 검정 통계량(F-Statistic)은 어떤 관계?
여기에 관련 내용이 있긴 하다. 하지만 그냥 그래프만 보는게 이해가 더 쉬울 것 같아 가져와봤다!
그림 출처 : The Minitab Blog
[R^2 값은 작고 ▼, F-Statistic 값은 크다 ▲]
해석은 다음과 같다.
- 독립변수 X(Input)가 종속변수 Y(Output1)에 끼치는 영향은 의미가 없다.
- 데이터들을 그래프에 뿌려 추정한 회귀식 신뢰도 또한 낮다. 각 데이터들의 분산이 너무 커 제대로 된 예측을 할 수 없기 때문이다.
[R^2 값은 크고 ▲, F-Statistic 값은 작다 ▼]
해석은 정확히 반대로 해주면 되겠다. 독립변수 X가 종속변수 Y에 미치는 영향도 크고, 추정 회귀식 신뢰도도 높다.
결론 :
R^2와 F-Statistic은 두 값 모두 추정한 모형이 적절한지 알려주지만,
R^2는 데이터들이 저 빨간 회귀 직선에서 각 각 얼마나 떨어져 있는지 분산을 더한 값들을 토대로 어떠한 계산을 한 결과가
- 값이 크면 ☞ 예측 정확함
- 값이 작으면 ☞ 예측 부정확함
F-Statistic은 데이터를 모아보니 선형이 잘 되는가? 를 따져보아
- 값이 크면 ☞ 선형이 잘 안그려짐
- 값이 작으면 ☞ 선형이 잘 그려짐
R^2는 0과 1사이의 값이고, F-Statistic은 0부터 양의 무한대 값이다.